对标签噪声的学习是一个至关重要的话题，可以保证深度神经网络的可靠表现。最近的研究通常是指具有模型输出概率和损失值的动态噪声建模，然后分离清洁和嘈杂的样本。这些方法取得了显着的成功。但是，与樱桃挑选的数据不同，现有方法在面对不平衡数据集时通常无法表现良好，这是现实世界中常见的情况。我们彻底研究了这一现象，并指出了两个主要问题，这些问题阻碍了性能，即\ emph {类间损耗分布差异}和\ emph {由于不确定性而引起的误导性预测}。第一个问题是现有方法通常执行类不足的噪声建模。然而，损失分布显示在类失衡下的类别之间存在显着差异，并且类不足的噪声建模很容易与少数族裔类别中的嘈杂样本和样本混淆。第二个问题是指该模型可能会因认知不确定性和不确定性而导致的误导性预测，因此仅依靠输出概率的现有方法可能无法区分自信的样本。受我们的观察启发，我们提出了一个不确定性的标签校正框架〜（ULC）来处理不平衡数据集上的标签噪声。首先，我们执行认识不确定性的班级特异性噪声建模，以识别可信赖的干净样本并精炼/丢弃高度自信的真实/损坏的标签。然后，我们在随后的学习过程中介绍了不确定性，以防止标签噪声建模过程中的噪声积累。我们对几个合成和现实世界数据集进行实验。结果证明了提出的方法的有效性，尤其是在数据集中。
translated by 谷歌翻译
We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.
translated by 谷歌翻译
在卷积神经网络（CNN）的动力下，医学图像分类迅速发展。由于卷积内核的接受场的固定尺寸，很难捕获医学图像的全局特征。尽管基于自发的变压器可以对远程依赖性进行建模，但它具有很高的计算复杂性，并且缺乏局部电感偏见。许多研究表明，全球和本地特征对于图像分类至关重要。但是，医学图像具有许多嘈杂，分散的特征，类内的变化和类间的相似性。本文提出了三个分支分层的多尺度特征融合网络结构，称为医学图像分类为新方法。它可以融合多尺度层次结构的变压器和CNN的优势，而不会破坏各自的建模，从而提高各种医学图像的分类精度。局部和全局特征块的平行层次结构旨在有效地提取各种语义尺度的本地特征和全局表示，并灵活地在不同的尺度上建模，并与图像大小相关的线性计算复杂性。此外，自适应分层特征融合块（HFF块）旨在全面利用在不同层次级别获得的功能。 HFF块包含空间注意力，通道注意力，残留的倒置MLP和快捷方式，以在每个分支的各个规模特征之间适应融合语义信息。我们在ISIC2018数据集上提出的模型的准确性比基线高7.6％，COVID-19数据集的准确性为21.5％，Kvasir数据集的准确性为10.4％。与其他高级模型相比，HIFUSE模型表现最好。我们的代码是开源的，可从https://github.com/huoxiangzuo/hifuse获得。
translated by 谷歌翻译
后门攻击已被证明是对深度学习模型的严重安全威胁，并且检测给定模型是否已成为后门成为至关重要的任务。现有的防御措施主要建立在观察到后门触发器通常尺寸很小或仅影响几个神经元激活的观察结果。但是，在许多情况下，尤其是对于高级后门攻击，违反了上述观察结果，阻碍了现有防御的性能和适用性。在本文中，我们提出了基于新观察的后门防御范围。也就是说，有效的后门攻击通常需要对中毒训练样本的高预测置信度，以确保训练有素的模型具有很高的可能性。基于此观察结果，Dtinspector首先学习一个可以改变最高信心数据的预测的补丁，然后通过检查在低信心数据上应用学习补丁后检查预测变化的比率来决定后门的存在。对五次后门攻击，四个数据集和三种高级攻击类型的广泛评估证明了拟议防御的有效性。
translated by 谷歌翻译
普遍的后门是由动态和普遍的输入扰动触发的。它们可以被攻击者故意注射，也可以自然存在于经过正常训练的模型中。它们的性质与传统的静态和局部后门不同，可以通过扰动带有一些固定图案的小输入区域来触发，例如带有纯色的贴片。现有的防御技术对于传统后门非常有效。但是，它们可能对普遍的后门无法正常工作，尤其是在后门去除和模型硬化方面。在本文中，我们提出了一种针对普遍的后门，包括天然和注射后门的新型模型硬化技术。我们基于通过特殊转换层增强的编码器架构来开发一般的普遍攻击。该攻击可以对现有的普遍后门攻击进行建模，并通过类距离进行量化。因此，使用我们在对抗训练中攻击的样品可以使模型与这些后门漏洞相比。我们对9个具有15个模型结构的9个数据集的评估表明，我们的技术可以平均扩大阶级距离59.65％，精度降解且没有稳健性损失，超过了五种硬化技术，例如对抗性训练，普遍的对抗训练，Moth，Moth等， 。它可以将六次普遍后门攻击的攻击成功率从99.06％降低到1.94％，超过七种最先进的后门拆除技术。
translated by 谷歌翻译
基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。
translated by 谷歌翻译
在以前的基于深度学习的方法中，语义分割被认为是静态或动态的每个像素分类任务，\ textit {i.e。，}将每个像素表示分类为特定类别。但是，这些方法仅着眼于学习更好的像素表示或分类内核，同时忽略对象的结构信息，这对于人类决策机制至关重要。在本文中，我们提出了一种用于语义分割的新范式，称为结构感知的提取。具体而言，它通过一组可学习的结构令牌与图像特征之间的相互作用生成分割结果，该功能旨在从功能中逐步提取每个类别的结构信息。广泛的实验表明，我们的结构量优先于三个广泛使用的基准，包括ADE20K，CityScapes和Coco-Stuff-10k。
translated by 谷歌翻译
后门攻击已被证明是对深度学习系统的严重威胁，如生物识别认证和自主驾驶。有效的后门攻击可以在某些预定义条件下执行模型行为，即，触发器，但否则正常表现。然而，现有攻击的触发器直接注入像素空间，这往往可通过现有的防御和在训练和推理阶段进行视觉识别。在本文中，我们通过Trojaning频域提出了一个新的后门攻击ftrojan。关键的直觉是频域中的触发扰动对应于分散整个图像的小像素明智的扰动，打破了现有防御的底层假设，并使中毒图像从清洁的假设可视地无法区分。我们在几个数据集和任务中评估ftrojan，表明它实现了高攻击成功率，而不会显着降低良性输入的预测准确性。此外，中毒图像几乎看不见并保持高感性的质量。我们还评估FTROJAN，以防止最先进的防御以及在频域中设计的若干自适应防御。结果表明，FTROJAN可以强大地避开或显着降解这些防御的性能。
translated by 谷歌翻译
分布式数据并行训练已被广泛用于深神经网络（DNN）模型。尽管当前的深度学习（DL）框架对于图像分类模型（例如图像分类模型）的密集模型很好地扩展了，但我们发现这些DL框架对于具有高度稀疏嵌入表的稀疏模型（NLP）模型（NLP）模型（NLP）模型具有相对较低的可扩展性。大多数现有作品忽略了模型参数的稀疏性，因此遭受了重要但不必要的沟通开销。在本文中，我们提出了Ablace，这是一个有效的沟通框架，以加快稀疏模型分布式培训的通信。 Embrace引入了稀疏感知的混合通信，将AlltoAll和模型并行置于数据并行训练中，以减少高度稀疏参数的交流开销。为了有效地重叠稀疏的通信与后向前和前向计算，采用进一步设计的2D通信调度方法，该方法优化了模型计算过程，放松嵌入式的依赖性，并计划以优先级的排队来安排每个嵌入行的稀疏通信。我们已经基于Pytorch和Horovod实施了Embrace的原型，并通过四个代表性的NLP模型进行了全面的评估。实验结果表明，与最先进的分布式训练基线相比，Embrace的速度高达2.41倍。
translated by 谷歌翻译
由于长距离依赖性建模的能力，变压器在各种自然语言处理和计算机视觉任务中表现出令人印象深刻的性能。最近的进展证明，将这种变压器与基于CNN的语义图像分割模型相结合非常有前途。然而，目前还没有很好地研究了纯变压器的方法如何实现图像分割。在这项工作中，我们探索了语义图像分割的新框架，它是基于编码器 - 解码器的完全变压器网络（FTN）。具体地，我们首先提出金字塔组变压器（PGT）作为逐步学习分层特征的编码器，同时降低标准视觉变压器（VIT）的计算复杂性。然后，我们将特征金字塔变换器（FPT）提出了来自PGT编码器的多电平进行语义图像分割的多级别的语义级别和空间级信息。令人惊讶的是，这种简单的基线可以在多个具有挑战性的语义细分和面部解析基准上实现更好的结果，包括帕斯卡背景，ADE20K，Cocostuff和Celebamask-HQ。源代码将在https://github.com/br -dl/paddlevit上发布。
translated by 谷歌翻译